Semantic Trajectories and Predicting Future Semantic Locations

Der Begriff $\textit{Standortwahrnehmung}$ (engl. $\textit{Location Awareness}$) bezieht sich in Zusammenhang mit sog. Ubiquitous Computing Systemen auf die Fähigkeit eines Systems seine Umgebung wahrzunehmen und seine Position im Raum zu erkennen. Solch eine Fähigkeit ist unerlässlich für das Erreichen von anpassungsfähigen, an den jeweiligen Kontext maßgeschneiderten Diensten und Applikationen. In den letzten Jahren, Dienstleister, um ihre Dienste an Nutzern rechtzeitig oder sogar vorausschauend anbieten zu können, gehen sie einen Schritt weiter und setzen vermehrt auf Standortvorhersage-Techniken. Der Technologiesprung der letzten Jahre und die weite Verbreitung von intelligenten mobilen Geräten hat dieses Unterfangen unterstützt. Darüber hinaus, Standortvorhersagesysteme werden immer häufiger zwecks einer effizienteren Resourcenverwaltung oder der Optimierung von Entscheidungsprozessen eingesetzt, wie zum Beispiel in Telekommunikations- oder Verkehrsnetzen. Schließlich, das Wissen des nächsten Ortes eines Nutzers und seine Bewegungsmuster gewähren einen tiefen Einblick in die Person an sich und ihre aktuelle und künftige Handlungen. Diese Art von Informationen kann Systeme zu einem höheren Personalisierungsgrad führen und sind sehr wertvoll (siehe z.B. digitale persönliche Assistenten und Empfehlungssysteme, u.a.). Aus diesen Gründen haben Standortvorhersagemethoden in den vergangenen Jahren stark an Bedeutung gewonnen. $\\$Die heutige Literatur umfasst eine reiche Vielfalt von Modellierungs- und Prädiktionstechniken für menschliche Bewegungsmuster. Die Mehrheit wird durch statistische oder Machine Learning basierte Verfahren repräsentiert, angewendet auf GPS oder Mobilfunkmast Signalen. Neuere Arbeiten gehen über die Nutzung von rein numerischen Daten hinaus und verwenden semantisches Wissen um die verfügbare Trajektorien anzureichern. Die resultierenden Trajektorien werden als $\textit{semantische Trajektorien}$ bezeichnet und reduzieren die abertausend aufgezeichnete GPS Punkte auf den wesentlichen Teil der menschlichen Bewegung, repräsentiert durch eine kleine Zahl signifikanter $\textit{semantischer Orte}$. Das verleiht den Prädiktionsmodellen eine gewisse Transparenz und hilft das Erreichen eines besseren Verständnisses der menschlichen Bewegung. Trotz der Vorteile, die Forschung um die Modellierung und Prädiktion semantischer Trajektorien befindet sich noch in einem sehr frühen Stadium. $\\$Das Hauptziel dieser Doktorarbeit ist diese Lücke zu füllen, sich der wachsenden Zahl an Untersuchungen in diesem Gebiet anzuschließen und einen soliden Grundstein für zukünftige Untersuchungen zu legen. Zu diesem Zweck, die vorliegende Arbeit erkundet eine Reihe von Wegen zur Modellierung von semantischen Trajektorien und zur Prädiktion der nächstbesuchten Standorte der Nutzer. Diese beinhalten sowohl probabilistische Verfahren wie multidimensionale Markov Ketten, als auch Künstliche Neuronale Netze (KNN) wie Convolutional Networks (CNN) und Attention-basiertes Sequence to Sequence Learning (Seq2Seq). Jenseits dieser übergeordneten Zielsetzung, der Beitrag dieser Dissertation kann in den folgenden Punkten zusammengefasst werden:$\\$$\bullet$ Untersuchung hinsichtlich der Auswirkung der $\textit{semantischen Repräsentationsebene}$, welche für die Beschreibung von Standorten in den semantischen Trajektorien verwendet wird, auf die prädiktive Performanz der Standortvorhersagemodelle.$\\$ $\bullet$ Untersuchung hinsichtlich der Auswirkung des gewählten $\textit{Grades der semantischen Anreicherung}$ der verfügbaren Trajektorien auf die prädiktive Performanz der Standortvorhersagemodelle.$\\$ $\bullet$ Untersuchung hinsichtlich der Integration von semantischem Wissen in das Training von Neuronalen Netzen durch das Hinzufügen einer $\textit{zusätzlichen semantischen Ebene}$ in Bezug auf das Konvergenzverhalten der Standortvorhersagemodelle und deren Prädiktionsperformanz. $\\$Die verschiedenen vorgeschlagenen und erkundeten Ansätze der vorliegenden Arbeit wurden mit Hilfe einer Gruppe realer Datensätze evaluiert. Ein Teil davon ist frei verfügbar für wissenschaftliche Zwecke und ein Teil entstand aus eigenen Experimenten und Nutzerstudien. Dies hat in Einzelfällen dazu geführt, dass ein kleiner Teil der in dieser Arbeit diskutierten Ergebnisse auf eine relativ begrenzte Datenmenge basiert, was teilweise auf eine entsprechend begrenzte Generalisierbarkeit hindeutet. Dennoch, sie liefern ein schwerwiegendes Indiz und legen zusammen mit den restlichen Aussagen der Arbeit ein solides Fundament für zukünftige Untersuchungen. $\\$Die Untersuchungen der vorliegenden Arbeit haben gewisse Vorteile seitens der Nutzung von Künstlichen Neuronalen Netzen identifiziert, besonders in Hinsicht auf Präzision und Trefferquote. Dabei stachen insbesondere die Stärken von rekurrenten (RNN, LSTM) und faltenden (CNN) Architekturen hervor. Allerdings, in bestimmten Fällen konnten manche probabilistische Modelle ähnlich gut, oder sogar bessere Ergebnisse erzielen. Dies ist im Wesentlichen auf die Menge und die Eigenschaften der verfügbaren Trainings- und Evaluationsdatensätze zurückzuführen und die Tatsache, dass Neuronale Netze im Allgemeinen und im Vergleich zu statistischen Verfahren datenempfindlicher sind. $\\$Es hat sich ebenfalls gezeigt, dass die semantische Repräsentationsebene in der Tat einen signifikanten Einfluss auf die Vorhersagekraft der Modelle hat. Semantische Trajektorien beschrieben in einer höheren semantischen Ebene bieten eine bessere Grundlage für genauere Vorhersagen als Trajektorien einer niedrigeren Ebene. Ein möglicher Grund dafür könnte die Tatsache sein, dass menschliche Bewegung einen höheren Regelmäßigkeitsgrad zeigt je höher die Ebene in der diese modelliert wird ist. $\\$Des Weiteren haben Untersuchungen bestätigt, dass der Grad der semantischen Anreicherung der Trajektorien, indem zusätzliche Kontext-Information, wie die Aktivität der Nutzer, ihre Persönlichkeit und ihr emotionaler Zustand, in Betracht gezogen werden, zu besseren Ergebnissen führen kann. Allerdings, in manchen Fällen konnten auch bestimmte Einschränkungen festgestellt werden, die auf die größere Anzahl der betrachteten Trainingsmerkmale in Zusammenhang mit dem entsprechend kleinen verfügbaren Trainingsdatensatz zurückzuführen sind. Dieses Phänomen wurde von Bellman als Fluch der Dimensionalität bezeichnet. Konkret bedeutet dies, dass die Vorteile geboten von den zusätzlichen Merkmalen gleichzeitig teilweise durch sich selbst wieder eliminiert werden, angesichts des Fehlens eines größeren Datensatzes, welcher ein generalisierbareres Modell und somit eine höhere Genauigkeit unterstützen würde. Die Tatsache, dass die Prädiktionsmodelle mit der besten Performanz zu den Nutzern mit den meisten Annotationen zuzuweisen sind unterstützt diese Annahme. $\\$Schließlich, in Hinsicht auf die Integration und Anwendung einer zusätzlichen semantischen Ebene in das Training von Neuronalen Netzen, die Untersuchungen dieser Arbeit untermauern die ursprüngliche Annahme und Grundidee und zeigen, dass das Einsetzen vom externen semantischen Wissen sowohl zu einer signifikanten Verbesserung des Training-Verhaltens der neuronalen Netze, als auch zu einer höheren Vorhersagegenauigkeit führen kann. Darüber hinaus, diese Ergebnisse geben starke Hinweise dafür, dass die Fusion von wissensbasierten und datengetriebenen Modellen über den speziellen Fall der Standortvorhersage hinaus sich ebenfalls als sehr nützlich erweisen könnte, da diese einen schnelleren und tieferen Blick in die verfügbaren Daten ermöglicht

Ubiquitäre Systeme (Seminar) und Mobile Computing (Proseminar) WS 2016/17. Mobile und Verteilte Systeme. Ubiquitous Computing. Teil XIV

Diese Arbeit wird einen Überblick über virtuelle intelligente Assistenten (VIA), die im deutschen auch oft als Sprachassistenten bezeichnet werden, geben. Es werden die verschiedenen Arten von VIA gezeigt und in welchem Zusammenhang sie momentan schon genutzt werden. Als Beispiel werden einige aktuelle Assistenten dienen. Zudem werden neben den Möglichkeiten der Programme, auch noch die Grenzen dieser Technik dargestellt und mögliche Verbesserungen und Optimierungen für die Zukunft besprochen. Ebenfalls wird das empfindliche Thema Datenschutz mit Bezug auf die VIA behandelt. Am Ende des zweiten Teils gehen wir auf die aktuelle Beliebtheit und Nutzung der Anwendungen ein. Im dritten Abschnitt wird dann die Funktionsweise der Software im Hintergrund der Assistenten betrachtet. Es wird der allgemeine Aufbau eines VIA skizziert. Zudem werden zwei Modelle für die Arbeitsweise der Sprachassistenten betrachtet. Dazu werden auch einige theoretische Konzepte wie Ontologien, Knowledge Graphen und POMDP (partially observable Markov decision process) beleuchtet. Zum Schluss kommt ein Fazit über die weitere Entwicklung der VIA mit Überlegungen für Verbesserungen und Optimierungen

Semantic-Enhanced Multi-Dimensional Markov Chains on Semantic Trajectories for Predicting Future Locations

In this work, we investigate the performance of Markov Chains with respect to modelling semantic trajectories and predicting future locations. In the first part, we examine whether and to what degree the semantic level of semantic trajectories affects the predictive performance of a spatial Markov model. It can be shown that the choice of the semantic level when describing trajectories has a significant impact on the accuracy of the models. High-level descriptions lead to better results than low-level ones. The second part introduces a multi-dimensional Markov Chain construct that considers, besides locations, additional context information, such as time, day and the users’ activity. While the respective approach is able to outperform our baseline, we could also identify some limitations. These are mainly attributed to its sensitivity towards small-sized training datasets. We attempt to overcome this issue, among others, by adding a semantic similarity analysis component to our model that takes the varying role of locations due each time to the respective purpose of visiting the particular location explicitly into consideration. To capture the aforementioned dynamics, we define an entity, which we refer to as Purpose-of-Visit-Dependent Frame (PoVDF). In the third part of this work, we describe in detail the PoVDF-based approach and we evaluate it against the multi-dimensional Markov Chain model as well as with a semantic trajectory mining and prefix tree based model. Our evaluation shows that the PoVDF-based approach outperforms its competition and lays a solid foundation for further investigation

Semantic-Enhanced Multi-Dimensional Markov Chains on Semantic Trajectories for Predicting Future Locations

In this work, we investigate the performance of Markov Chains with respect to modelling semantic trajectories and predicting future locations. In the first part, we examine whether and to what degree the semantic level of semantic trajectories affects the predictive performance of a spatial Markov model. It can be shown that the choice of the semantic level when describing trajectories has a significant impact on the accuracy of the models. High-level descriptions lead to better results than low-level ones. The second part introduces a multi-dimensional Markov Chain construct that considers, besides locations, additional context information, such as time, day and the users’ activity. While the respective approach is able to outperform our baseline, we could also identify some limitations. These are mainly attributed to its sensitivity towards small-sized training datasets. We attempt to overcome this issue, among others, by adding a semantic similarity analysis component to our model that takes the varying role of locations due each time to the respective purpose of visiting the particular location explicitly into consideration. To capture the aforementioned dynamics, we define an entity, which we refer to as Purpose-of-Visit-Dependent Frame (PoVDF). In the third part of this work, we describe in detail the PoVDF-based approach and we evaluate it against the multi-dimensional Markov Chain model as well as with a semantic trajectory mining and prefix tree based model. Our evaluation shows that the PoVDF-based approach outperforms its competition and lays a solid foundation for further investigation

U-BIOPRED clinical adult asthma clusters linked to a subset of sputum omics

Background: Asthma is a heterogeneous disease in which there is a differential response to asthma treatments. This heterogeneity needs to be evaluated so that a personalized management approach can be provided. Objectives: We stratified patients with moderate-to-severe asthma based on clinicophysiologic parameters and performed an omics analysis of sputum. Methods: Partition-around-medoids clustering was applied to a training set of 266 asthmatic participants from the European Unbiased Biomarkers for the Prediction of Respiratory Diseases Outcomes (U-BIOPRED) adult cohort using 8 prespecified clinic-physiologic variables. This was repeated in a separate validation set of 152 asthmatic patients. The clusters were compared based on sputum proteomics and transcriptomics data. Results: Four reproducible and stable clusters of asthmatic patients were identified. The training set cluster T1 consists of patients with well-controlled moderate-to-severe asthma, whereas cluster T2 is a group of patients with late-onset severe asthma with a history of smoking and chronic airflow obstruction. Cluster T3 is similar to cluster T2 in terms of chronic airflow obstruction but is composed of nonsmokers. Cluster T4 is predominantly composed of obese female patients with uncontrolled severe asthma with increased exacerbations but with normal lung function. The validation set exhibited similar clusters, demonstrating reproducibility of the classification. There were significant differences in sputum proteomics and transcriptomics between the clusters. The severe asthma clusters (T2, T3, and T4) had higher sputum eosinophilia than cluster T1, with no differences in sputum neutrophil counts and exhaled nitric oxide and serum IgE levels. Conclusion: Clustering based on clinicophysiologic parameters yielded 4 stable and reproducible clusters that associate with different pathobiological pathways